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Обзор включаєт описание распространенньх типов покрьтия и современньх методов 
генерации тестов из кода императивньх программ. Особое внимание уделено методам, в основу 
которьх положена техника символьного вьшолнения. Обсуждаются прейимущества различньгх 
подходов и недостатки автоматического порождения тестов в целом. 
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Введение 

Тестирование -- самьій используемьтй способ оценки качества в промьшиленной 
программной индустрии |1). Методьт автоматизации построения тестов на основе 
кода стали активно исследоваться в 1970-х годах |2|, с тех пор создано много 
различньх подходов к данной проблеме. Их можно классифицировать на оснований 
принципов, положенньх в основу алгоритмов: 

- Стохастическиє (гапдот) методь» порождают тестовьте даннье случайньм 
образом. Преимущества в производительности, простоте реализации и внедрения. 
К недостаткам можно отнести плохое покрьтие, большую степень избьіточности. 

- Комбинаторньюе методью основань: на переборе значений входньжх параметров 
тестируемой программь. Обьтчно перебор всех возможньїх комбинаций невозможен, 
(например, сложение двух 4-хбайтовьїх цельжх допускаєт 20" вариантов), позтому 
прибегают к ограниченнькм переборам некоторьтх подмножеств. 

- Методь поиска оптимального  приближения  (зеагсб-Базед)  используют 
функцию приближения для измерения «дистанциий» порожденной популяции 
тестов от искомьх тестовьїх целей покрьтия, и стремятся ее минимизировать. 

- Систематические методьт извлекают условия вьшолнения путей программьі на 
оснований некоторого анализа кода, решают зти условия и получают тестовье 
даннье, которьгюе направляют вьшолнение программьт по зтим путям. 

Такая классификация довольно грубая и не исчерпьвающая, часто системь 
реализуют гибриднье и звристические подходь. В данной работе приводится обзор 
современньх систематических методов генерации тестов по принципу «белого 
ящика» на основании кода тестируемой системь. 
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Обзор типов покрьтия кода 

КО тестовому набору вкБідвигаются требования обеспечения  некоторого 
покрьтия, при котором оно часто оцениваєется как отношение количества покрьттьїх 
злементов к общему числу искомьїх злементов тестируемой программь. Далее 
приведень самьге распространенньге типьт покрьтия |Ї, 31: 

- покрьтиє функций (Гипсіоп соуегаєе) требуєет, чтобьг бьмли вьБізваньт все 
функции (подпрограммь); 

- покрьтие операторов (зіагетепі соуегаєе) требует вьшолнения всех операторов; 

- покрьтиєе ветвей (Бгапсб соуегаєе) требуєт вьшолнения всех управляющих 
структур, таких как операторь: условия її (как вьшолнимого, так и 
невьшолнимого случая) и вьтбора са5е (всех возможньх вариантов); 

- покрьтие решений (десізіоп соуегаєе) требует покрьтия условньтх операторов, как и 
в случає покрьтия ветвей, а также рассматриваєт  присвайваниє  булевьтм 
переменньм, например, для «а - (р м с)»: покрьтие будет достигнуто тестами, 
в которьїх переменная а будет принимать как истинноге, так и ложное значение; 

- покрьтие предикатов в условиях (сопаїйоп соуегаге) требуєет, чтобьт все булевьте 
подвьтражения условий принимали как истиннькге, так и ложньгєе значения; 

- модифицированноє покрьтие условий/решений (плодійед сопадїшоп/десізіоп 
соуегаге) требует, чтобьт каждьй предикат в условий принимал как истинноє, 
так и ложное значение, при зтом влиял на вьшолнение всего условия; 

- множественноє покрьтиєе условий (гаційріє сопдійоп соуегаєе) требуєт 
покрьтия всех возможньх комбинаций (всей таблицьт истинности условия); 

- покрьтие значений параметров (рагатеїег уаїше соуегаєе, РУС) требуєет, чтобьі 
методь,  принимающиє на вход  параметрь,  вьдзьвались со  всеми 
распространенньми типичньжми значениями (например, для строковьїх типов 
зто пи!!, пустая строка, пробел/табуляция/перевод строки, правильная строка, 
неправильная строка, строка однобайтньх символов, строка двухбайтньтх 
символов. Тестированиє только одного варианта может привести к 10090 
покрьтию строк кода, однако только 14.390 (1/7) покрьтию РУС); 

- покрьтиє входов-вьтходов (епігу-ехії соуегаєе) требуєт вьшолнения всех 
возможньтх вьізовов и возвратов функций; 

- покрьтие линейньтх участков до перехода по потоку управления (/)-РаШ соуегаєе); 

- покрьтие циклов (Іоор соуегаєе) требует, чтобьт все цикль исполнялись 0), 1,..М раз; 

- покрьтиє потока данньх (аїа-Йому, или Феї-и5е соуегаєе) требуєт, чтобьі 
каждое присвайваниє переменной и использованиє зтого значения бьгло 
достигнуто и исследовано. 

Метод «белого ящика» включаєт оценку полноть  покрьтия с помощью 
мутационного подхода. «Мутантом» назьтваєтся незначительно модифицированньй 
(в местах найболее вероятньїтх ошибок) исходньй код. Качество покрьтия тестами 
оцениваєтся как способность вьгявления мутантов (4). 

Рассмотрим детальнее критерии покрьтия условий и потока данньх. 

Покрьтие условий. Пример 1. Предположим, что необходимо протестировать 
следующий участок кода, представленньй условньїтм оператором «15 ( (АМВ) лС)», 
где А, В и С представляют атомарнье логические вьтражения (т.е. не раскладьваются 
на другие подвьтажения). Для обеспечения покрьтия условий, А, В й С должньт 
принять значения «истина» и «ложь» хотя бью однаждь при вьшолнений тестов, 
например, таких: (1) А-истина, В-истина, С-истина; (2) А-ложь, В-ложь, С-ложь. 
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Для обеспечения покрьтия решений, условиє ((А му В) л С) должно так же 
принимать значения «истина» и «ложь» хотя бьгт однаждьвю. Покрьтие достигаєтся 
теми же двумя тестами. Критерии условий и решений не гарантируют покрьтие всех 
атомарньх условий, потому что во многих случаях некоторье предикать «закрьтпть» 
другими: например, с помощью только двух предложенньжх тестов невозможно 
знать, какой именно предикат повлиял на результат вьтчисления полного условия. 

В свою очередь модифицированное покрьтиє условий/решений (МС/ОС) 
требует, чтобьт каждьй предикат условия принимал один раз значение «истина» и 
один раз «ложь», и при зтом единолично влиял на результат полного условия. Ото 
достигаєется парой тестов, в которьїх изменение значения только одного атомарного 
условия будет изменять также значение всего условия. Таким образом, критерий 
МС/ОС значительно сильнее, чем критерий покрьтия условий и решений. На 
практике, для условия, содержащего п атомарньгх логических условий, необходимо 
найти как минимум п--/ тест для обеспечения покрьтия МС/РОС. В нашем примере 
предикатов всего три, мьт можем, например, вьібрать такой набор из четьтгрех тестов: 

1. А- истина, В - ложь, С - истина; условиє «(А М В) л С» ВЬШОЛНИМО 

2. А-ложь, В - истина, С - истина; условие вьшшолнимо 

3. А-ложь, В - истина, С - ложь;  условие не вьполнимо 

4. А-ложь, В-ложь, С - истина; условие не вьшолнимо 

Действительно, различие между 1 и 4 тестом только в значений А, при зтом 
результат вьтчисления полного условия меняется («истина» в тесте Ме!, «ложь» - В 
Мо4); аналогично, различие между тестами 2 и 4 только в значений В, которое 
изменяет результат с «истинного» в «ложноє»; наконец, тесть 2 и 3 различаются 
только значением С, которое также изменяет результат с «истинного» в «ложноге». 

Таким образом, покрьтиеє МС/ОС обеспечено; отметим, что при зтом критерий 
покрьтия условий и решений также соблюдень. 

Пример 2. Рассмотрим более сложньвй пример кода, представленньгюй условньтм 
оператором «ії ((А м В) л (С м р))». Полная таблица истинности для условия 
содержит 16 строк, но для обеспечения покрьтия МС/ОС будет достаточно 
вьшолнения, например, только таких пяти тестов, представленньх на рис.1: влияние 
предиката А на результат в целом проверяєтся тестами І и 4, В - соответственно І и 
заз ио; зи. 


| тет | А | в | с | о ,|соуву дл кс ур) 


истина ложхБ ложьБ истина истина 
истина ложьБ истина ложьБ истина 


Рис.1. Тесть  Модійеа сопаїшоп/десівіоп покрьтия для примера 2 


Необходимо отметить, что простая синтаксическая перегруппировка условий 
(их разбиение на несколько независимо вьгисляемьх с помощью временньх 
переменньх, значения которьх потом используются в условий), которая не изменяєт 
семантику программь, может понизить сложность получаємого полного МС/РС (5). 
В качестве примера оценки зффективности обнаружения ошибок, можно привести 
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работу |6|, в которой описано применениє критерия МС/ОС для тестирования 
модуля программного обеспечения спутника НЕТЕ-2. 

Покрьтиє операторов, ветвей, МС/ОС включаєтся в сертификацию РО- 
178В/РО-178С безопасности оборудования авиационньх систем, а также является 
частью требований в стандарте автомобильной безопасности І5О0 26262 Коай 
Уерісіе5 Бипсопа! Заїегу. 

Покриьтие потока данньтх. Критерии покрьтия потока управления (5(агетепі, 
ргапсп) слишком слабь для обнаружения ошибок, а полное покрьтие путей и 
условий может оказаться слишком трудоемким и нереализуемьтм на практике: 
фрагмент кода, имеющий п последовательньх условий, содержит 2" путей, а с 
конструкциєй цикла - бесконечноє множество. Покрьтиєе потока данньжх служит 
зффективньм компромиссньм вариантом |3|. Рассмотрим его более подробно. 
Пусть С - граф потока управления тестируемой программьї, С - (У, Е, 5, ), где У - 
множество вершин, Е - ребер, 5 - начальная вершина, / - конечная. Пусть у - 
некоторая вершина потока управления из У. 

Тогда пусть 

деї5(у) - множество всех переменньх, которьгю определеньт в у (т.е. таких, 
которьюе состоят в левьжх частях присвайваний или каким-либо другим способом 
получивших новоге значение); 

с-цзе(х) - (префикс "с" от «согарикаїоп») - множество всех вершин, которье 
используют х для определения значения других переменньтх; 

р-изе(х)) - (префикс "р" от «ргедісаїе») - множество всех пар вершин (У, у"), 


которье используют х в условий перехода из вершиньт у в у". 

Путь на графе С - последовательность вершин уо, Мі, ..., Ук, Где для всех і, 
(1«1ХК) ребро (мі, мі) принадлежит множеству Е. Путь назьтваєтся полньюм, если 
удж5, Укі. Пусть П - множество путей. Будем считать, что вершина у включенав П, 


если П содержит путь (пі, ..., Пи), В КОТОром ус-п; для некоторого 1Іх)хт. 
Аналогично, ребро (Ут, у2) включено в путь П, если П содержит путь (пі, ..., Пі), В 
котором у1-п), Ухепічт для некоторого 1 «)«т-1. Путь (мі, ..., Ук) ВклЮюЧен в П, если 
П содержит путь (пі, ..., Пт), в КОТОРОМ Уг- пі, У22Пічі, ..., Укіпін-: для некоторого 
1 «у«та-КУІ. 

Назовем Ф4еї-сіеаг путем для переменной х такую последовательность вершин 
уд, У1, -..:, Ук, В КОТОроЙ нет присваийваний х, т.е. для всех 1,0 Х1ХК, хе деїя(мі). 


В работе |7| Карр8 и УМеуикег предложили критерии для проверки всех прямьіх 
зависимостей по данньтм. Пусть Р - множество полньїх путей на графе С. Тогда Р 
удовлетворяєт критерию А/Ї-4е/5, если для каждой вершиньт у и каждой переменной 
х є деїх(у), Р включает соответствующий х даеї-сіеаг путь, ведущий из у к, по крайней 
мере, одному использованию; семантически означаєт, что все присвайвания будут 
как-либо задействовань. Критерий АЇЇ-с-и5ез требует, чтобьт для каждой вершинь! у, 
содержащей определение переменной х, и каждой вершиньт у'єс-п5е(х), достижимой 
из у, в Р бьшл покрьт деї-сіваг путь у..у"; означаєт, что для каждого вьтчисления будут 
задействованьт все определения, которью могут принимать в них участие. АП-р-и5е5 
требует, чтобь для каждой вершинь у, содержащей определениє переменной х, и 
каждой парьт вершин ( у, у")є р-цпзе(х), в Р бьшмл покрьгт деї-сіеаг путь у.му"; означаєт, 
что все ветви будут протестировань: с использованиєм каждого определения, 
составляющего ших условия. АЙ-с-и5е5/.0те-р-и5е5 сводится к тому, что все 
определения задействованьт и протестированьт все случай влияния на вьічисления. АЙЇ- 
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р-и5ез/зоте-с-и5е5 означаєт, что все определения задействовань и протестированьі все 
случай влияния на условия ветвей потока управления. АЇЇ-и5е5 требуєет, чтобьі для 
каждого определения переменной х в вершине у вР бьгл покрьгт деї-сівеаг путь из у К 
каждой вершине из с-и5е(х) и р-пя5е(х); означаєт, что будет протестировано каждоє 
вьтчисление и условие, затронутоє определением х. АІЇ-4и-раї5 требуєт, чтобьт для 
каждого определения переменной х в вершине у, множество тестовьїтх путей Р 
содержало все простьг6"е деї-сівеаг пути из у к каждой вершине из с-п5е() и р-изе(х). АІ- 
раї требуєт, чтобьт все пути программь бьши вьшолненьі. Д/-подез соответствуєт 
покрьтию операторов. АІЇ-едеез соответствуєт покрьтию ветвей. 

Міаїоз предложил  использовать стратегию  требуємьх  К-кортежей как 
расширениєе стратегий дев-п5е пар: в работе |З| описан критерий требуемьіх К- 
кортежей, которьшй проверяєт все цепочки К прямьїх зависимостей по данньм, т.е. 
всех последовательностей из К.І вершин, в которьїт каждая вершина напрямую 


зависима от предьщдущей. І а5Ккі и Коге! 


А1ІЛ-РАТН5 
у | - І9| предложили  стратегию  проверки 
- М - . зависимостей по данньїм в комбинациях. 
Сопіехі соуегасе | АІ1.Р-РАТНУ Веадцігед (К-Т иріе5 
ч На рис.2 отображено взаймоотношениє 
Ле калині видов покрьтий  потока  данньх, 
РТ приведенное в работе |7|, расширенное 
АЛ, С-О5Е5/ЗОМЕ-Р-05Е5 А11.Р-О5ЕЗ/ЗОМЕ-С-Ц5Е5 критериями требуемьгх К-кортежей |З) и 
УС ЧР М контекстного покрьтия |9| (стрелками 
АІЛСАЕ8 рдручаєи А РАНЕЗ указьваєтся включение одного (нижнего) 
| критерия в другой (верхний); критерий 
брані на разньх ветвях несравнимь). Отметим, 
| что  найболеє часто  используемьім 
| 
знанні критерием  служит  АЙ-иц5ез. Оценка 
степени покрьтия затруднительна: в силу 


того, что не все пути ВЬІПОЛНИМЬ, 
покрьтие многих деї-ц5е пар оказьгваєтся 
недостижимьм, позтому 10090 покрьтия 
на практике не достигаєтся. Болеє того, обеспечениє д4еї-ц5е покрьтия может 
оказаться проблематичньрм для таких язьковьїжх конструкций, как массивь и 
указатели: нижняя  аппроксимация двязей может не включать  некоторье 
достижимьве д4еї-и5е парь, а верхняя аппроксимация, с другой сторонь, может 
порождать большое количество невьшолнимкьіх целей покрьтия. 

В работе (10) Напої! и 50їа описали анализ межпроцедурного потока данньх 
и разработали соответствующие методьт для его тестирования. Обігапа описал (11) 
анализ потоков данньх в программах с указателями. Также в качестве примеров 
применения метода тестирования потока данньх к Веб-приложениям можно 
привести работу |12|, к обьектно-ориентированньюм программам - работу |131. 

Обзор алгоритмов и методов 

Систематическиє методью генераций тестов рассматривают (необязательно 
конечнье) абстракции пространства состояний программь, и строят тестовьте 
сценарии для достижения искомьгх злементов требуємого покрьтия. Такиєе подходьт 
обьтічно реализуют некоторьй вариант символьного вьшолнения (5упібоПс ехесийоп 
21) - технику анализа достижимости, которая симулируєет вьшолнение программ над 


Рис.2. Иерархия типов покрьтия 
потока данньх 
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символьньми данньми и вьічисляєт значения входов программь, удовлетворяющих 
условию требуєемого пути. 

Анализ пространства поведения систематическими методами, в отличиє от 
анализа пространства допустимьжх входов, вьшолняємьїх в стохастических и 
комбинаторньх подходах, может обнаруживать поведения, ассоциированнье с 
очень маленьким множеством входньжх значений. С другой стороньі, вьісокая 
вьтчислительная сложность такого анализа становится существенньтм недостатком. 
Производительность зависит от класса формул, которьте описьювают пространство 
состояний и производительности соответствующих солверов. Также проблемной 
особенностью  систематических  подходов является  незффективньй  обход 
пространства поведения - алгоритмь часто углубляются в перебор вариантов, не 
приводящий к обнаружению новьїх злементов искомого покрьтия. В частности, 
большой проблемой становятся цикль, приводящиєе к бесконечньм путям при 
статическом анализе потока управления. Активно разрабатьтваются различнье 
звристики для ускорения достижения покрьтия, например, Безі-Пг5і-5еагсі 1141. 

Для адаптации методов к работе с исходньтм кодом программ, как правило, 
применяют методьт абстракции, например, самьтм распространенньм служит метод 
абстракциий предикатов. В отличиє от задач верификации, где строят верхнюю 
аппроксимацию для доказательств недостижимости, задача тестирования сводится к 
демонстрации достижимости, и может бьть упрощена применениєм нижней 
аппроксимации, т.е. абстракция может иметь меньше поведений, чем реальная 
программа. Дополнительньжми средствами сокращения пространства поиска служат 
методьт слоев и т.н. «воронки давления» (сопе ої іпНиепсе гедисйоп), идея которьїх 
заключаєтся в злиминации тех переменньгх и частей программьі, которье не имеют 
влияния на достижимость искомьх злементов покрьтия. 

Алгоритм для автоматньїх моделей. Рассмотрим алгоритм |15| генерации 
тестовьх наборов применительно для автоматньїх моделей с семантикой конечньх 
транзиционньх систем. На рис.3 представлен алгоритм, учитьвающий частичноге 
покрьтие рассматриваємой трассой злементов, требуємьгїх заданньм критериєм. 


РАЗ85:з Й) ; МАТТ:З (зо, Ло, Со, Є) з 5ІЛТЕ:З Й ; СОУ 2 Со 
утіїе М/дТТ- () до 
зеЇесі (8, А, С, пл) гот УАІТУ айд (8, А, Є, сг) юю РА55 
їог ай (з, А", С" ш.0) 1 (з, А, Суші) Зк (з, А", С" шоб) до 
її С" Є Сом еп 
ад (2.1, С) кю 5 ІТЕ; Сом :- Соу 0 С" 
її --4( 82, Аг, Сі, лі ) 1 (а, Аг, Сі, щі) Є РА858 0 МАТ Л зі с 8'л А! С А; Феп 
ад (з", А", С" об) го МУДІТ 


од 
од 
гетшгп 5 ЛТЕ 


Рис. 3. Алгоритм покрьтия с учетом частичньхх злементов (135) 


Алгоритм заканчиваєт работу, когда множество нерассмотренньжх состояний 
МУДІТ становится пустьм. К зтому моменту все достижимье состояния Из 
начального состояния 50 рассмотрень, множество Соу содержит все достижимье 
злементьт покрьтия, и 5 ЛІТЕ содержит множество пар вида (умі, Сі), где ууі - трасса, 
заканчивающаяся покрьтием злемента Сі, и ) С; з Соу. Алгоритм обеспечиваєт 

і 
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полное покрьтие достижимьх злементов, т.к. для каждого частичного злемента а, 
расширенное состояние (5, А, С, уу) такое, что а;є А будет рассмотрено. 

Использование темпоральньх логик. Специфицирование целей тестирования 
согласно вьібранному критерию возможно с помощью темпоральньх логик. Такие 
формуль, как правило, задаются в виде «аЇмаузб пої р», и назьтваются «ловушками» 
(гар ргорегіу). Используя различнье методью проверки модели |16, 17|, можно 
получить трассу-контрпример, нарушающую заданное свойство р. Например, в 
работе (13), Кауадигеат и Неїтдарбі предложили метод представления тестовьіх 
целей, обеспечивающих покрьтиеє МС/ОС, в виде формульт линейной темпоральной 
логики ІЛ, которую можно представить так: 


С(-(у ле, ти, АМХае, зи,))) У Є(- (зу ле, зи, АМХе, -ц,))). 


Здесь у - формула полного условия, с, - атомарньїш предикат, изменениє 
значения которого должно привести к изменению вьшолнения полного условия у, 
с, - Остальнье предикатьк, значения которьїжх фиксируются, и -- вектор их значений. 


Для прямой зависимости по данньм переменной х, определенной в вершине у и 
используємой в вершине у", ассоциируют 11, формулу: 


Ши»---зу') є (уд ХГ -еГ (х) 0( у" лК 7 )). 


Таким образом, конечньй путь 7 будет тестовой последовательностью для 
у--ло»у, о если, и только если,  существуют  такиє  0хі«)«кК, что 
лауЕу,л(С0)Е-ае/(х) для всех і«І«), л()) м и л(ЮЕ 7. При зтом покрьтиє 


АП-иц5ез8 удовлетворяется множеством путей, заданньтх в виде | Ля (у--т-з»у"). 


уче 
В работе |19| зависимости по данньгтм вьтражень с помощью формул УУСТІ, 
(подмножества | СТІ,  ограниченного БЕ, ЕХ и  ЕО). Например, для 
последовательности чати? «Фриг бе 1, ЮК 20, свойства  зависимости 


требуемьх К-кортежей можно вьтразить в УУСТІ, индуктивно: 
- если 4 пустоєе, то уст д)-КЕЇ, 
- если 4 в виде Гаги, 4", то мс(фа 4 лЕХЕГ аву (х,) О(их лухсі(47))) 


чі 


- усі) - ЕКусіїа) 
Здесь запись 4; и и; обозначаєт соответственно определениє и использованиє 


переменной х в вершине у. 

Динамическое символьное вьшолнение. Важную категорию 
систематического  подхода  составляют  методью динамического символьного 
вьшолнения  |20-22|,  известнье как  конкретно-символьнью  (сопсоїйс) и 
направленного случайного тестирования - гибридньй подход, интегрирующий 
(статическое) символьное вьшолнение и (динамическую) информацию, полученную 
в процессе вьшолнения теста. Метод подразумевает наличие некоторого начального 
состояния (полученного случайньм образом или заданного  разработчиком), 
отправляясь из которого, применяєт символьное вьшолнение, порождая новье 
начальньтже состояния для дальнейших тестов на оснований условий не пройденньх 
ветвей, встретившихся на текущем пути. В работе |23| предложен алгоритм «поиска 
поколений» (єепегайопа! 5еагср), которьш существенно отличается от традиционньх 
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стратегий поиска в глубину и в ширину: на каждой итерации рассматриваются 
варианть: продолжения поиска вне зависимости от их длинь (рис.4). Главная 
процедура Зеагсп помещаєт вход іприїбеед в могКіїєзє: и вьшолняєт 
тестируємую программу (строка 4). Далее обрабатьтваєтся множество могКІі8і 
(строка 5) путем вьюбора злемента (строка 6) и его обработки (строка 7) для 
генерации новьїх входов путем вьвзова функции Ехрапавхесицііоп. Для каждого 
срьі1атприєв, тестируємая программа вьізьваєтся (строка 10), оцениваєтся (строка 
11) и добавляєтся в список могКІізн (строка 12), которьй отсортирован 
соответственно звристическим оценкам. 


8еагсіп (іприсб8ееа) І 
іприсб8еед.роцпа - 0; 
могКкіі8є - (іприсбееа); 


ї Ехрапдвхесисіоп (іприс) | 
2 

з 

4 випеспеск (іприєз8ееа) ; 

5 

6 

й 

8 


спіїдатприс8 - 1); 
// вутроїісаїїу ехесисе (ргодчгат, іприс) 
РС - СотрисерРаспСопвігаїпі (іприі); 
Гог ()зіприс.роцпа; ) « |РС|; ічч) | 
ІЕ((РСІО0..()-1)) апа пос (РСЦ()))) 
пав а воїцісіоп І) 


мпіїе (могКців: пої ептріу) (|//пем спіїдгеп 
іприї - РіскРіуквбіІРет (могКІі6565); 
сріїдтприєє - ЕхрапдЕхесиісіоп(іприі); 


5 М Т пеміприс - іприс з І; 
мпіїе кспататири єв пої етріу) 1 8 леніпрціо Воцоії зє 32 
з пеміприї - РіскОпет ет (спіїдтприй 8); 9 спіїдтприєє «- спіїдІприсє - пеміІприє; 
10 випеСпеск (пеміприг ) ; 19 1 
Ї 
45 б8соге (пемтпри?); 11 | хесихп спіїдїприсв; 
12 МогКІів8с - могКііві - пеміприй; 12 


Рис.4. Алгоритм поиска поколений (єепегайопа! 5еагсі (231) 


Главньм отличием алгоритма является способ добавления потомков. Функция 
Ехрапавхесибіоп символьно вьшолняет тестируемую программу с входом 
іприї и генерирует ограничениє пути РС (строка 4). РС представляєт собой 
коньюнкцию ограничений, каждая из которьїх соответствуєт условному оператору 
программьш для текущего пути и двьражена символьньми  переменньми, 
представляющими значения входньїжх параметров (см. |14, 22|). После алгоритм 
пьтаєтся обработать каждоє ограничениє пути. Зто вьшолняєтся проверкой 
вьшолнимости коньюнкции части ограничений до 5-го злемента РСІ0..()-1)| и 
отрицания 5-го злемента --(РС( 5 |). При вьшолнимости, решение І используется для 
обновления предьшщущего решения, таким образом, порождаєтся условие для нового 
пути (строка 7).  Приведенньй алгоритм положен в основу ряда современньгх 
инструментальньх средств, например, 5АСЕ |24|, РЕХ 1251. 

В |26| описан метод композиционного вьшолнения динамической генерации 
тестов, суть которого сводится к тестированию функций по отдельности, сохраняя 
результать  тестов в виде некоторого предусловия над входами и некоторого 
постусловия над вьїходами, с последующим их использованиєм при тестирований 
функций верхнего уровня. На рис.5 представлен пример, в котором при замене 
функции еїет ро5іїіуе ее спецификацией (х»0 л кхебигп-1) м (хх0 дл 
хгхеригпео0) о количество путей при динамическом дсимвольном  вьшолнений 
сокращаєтся с 2М до четьтрех: два при обходе еїеп розібіуе и два при 
вьшолнений пит розікіуєе, при зтом ограничение пути к функции еггог () будет 
задано формулой: 


((ш1ТО017»0 дл гегихпо-1) м (п10)120л гекиупо-0) ) лм... ((тіМ-11»0 л гекигпу-111) 
м (ті М-1120Ллкхевкигпу 120) ) А (кебигпої.Р-геритгпи-1т-0). 
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Аналогичная техника используєтся для специфицирования ЦИкЛоОв. 


іпос еїет розіїіуе(іпі х) | моїд пит розікіуе(іпі т |М)) ( 
12Е(х » 0) гекихп 1; іпб 1, гез - 0; 
хекигп 0; вової но оо Ма ле) 
) гез з- гез 3 іет розісіуе (п(11); 
1Е(хез -- 0) еггог(); 
зі 


Рис.5. Пример, демонстрирующий зкспоненциальное 
сокращениєе количества путей 


При вьшолнений программью часто необходимо обеспечить адекватную 
симуляцию окружающей средь. Например, в работе |27| авторьи описьвают 
использованиє имитационньх (плосК) функций для работьт с базами данньх. Для 
недетерминированньх программ прибегают к тестированию «на лету», или 
построению  тестовьшх  сценариев в виде дерева, учитьвающего  возможньюе 
альтернативьт поведения | 17). 

Конкретно-символьньве генераторьт используют нижнюю аппроксимацию при 
обработке предикатов, неразрешимьх в теорий используемьїх солверов (например, 
нелинейньх вьшчислений), однако могут приводить к снижению степени покрьтия. 

Оптимизация тестового набора. Автоматическая генерация порождаєт 
множество тестов, которое на практике часто оказьтваєтся слишком большим, их 
поддержка и вьшолнение часто вьтходит за временнье рамки вьшолнения проектов. 
Поиск минимального подмножества тестов, сохраняющего исходное покрьтие - МР- 
сложная задача (23). Из зтих соображений актуальна задача зффективной 
минимизации тестового набора. Например, простая распространенная техника 
редукции множества тестов - злиминация префиксов, при которой проверяєтся, что 
ни один тест не является префиксом другого. Однако применениє одной такой 
редукции недостаточно: тестовьшй набор все равно может содержать много 
избьточньх тестов. В (15) применяют проверку каждого теста на предмет покрьтия 
в нем хотя бьгю одного уникального по отношению к тестовому набору (без зтого 
теста) искомого злемента критерия покрьтия. Если таковьгх нет (т.е. все злементь!т в 
рассматриваємом тесте покрьттьт так или иначе в других тестах), то тест считаєтся 
избьточньм и удаляєтся из результирующего набора. В |29| представлен обзор 
методов минимизации тестовьх наборов для регрессионного тестирования. 

Для оптимизации тестовьїх наборов также используют такие критерии, как время 
вьшолнения, потреблениє ресурсов памяти, размер тестов, способность вьіявлять 
ошибки. Например, в работе |30| авторьг ставят целью найти трассь, включающие 
максимально много злементов покрьтия без сброса (ге5еї) в исходное состояниє 
тестируемой системь для сокращения времени вьшолнения тестового набора. 

Проверка граничньх значений позволяєт повьісить вероятность обнаружения 
ошибок |1). В работе |31| разработан метод конкретизации символьньх трасс, 
осуществляющий вьтчислениє и подстановку конкретньїжх значений, лежащих на 
границах допустимого диапазона. 

Проблемь 

Автоматически сгенерированнье тесть обладают недостатками: они часто не 
имеют смьтслового содержания; обрьваются, не доводя до логического завершения 
(например, некоторое новое значение вьтчислено, но к его отображению трасса не 
привела, ввиду завершения по обработке несвязанной исключительной ситуацийи), и, 
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как следствие, незффективньт с точки зрения вьтвления ошибок (например, в |32| 
зксперимент с  вьявлениєм  мутантов  показал  превосходство тестов, 
сгенерированньх случайньтм образом, над кратчайшими тестами, обеспечивающими 
покрьтие условий); последовательность собьтий теста обусловлена порядком 
перебора вариантов при обходе поведения, а не их логической взаймосвязью. В 
работе |33| для устранения зтих недостатков использована техника пролонгациий 
тестовьжх сценариєев - трасса продлеваєтся до одного из терминальньжх состояний 
модели, при зтом поиск усовершенствован направляющей звристикой, - приоритет 
отдается альтернативе, которая может встретить больше случаев использования (п5е) 
значений атрибутов, соответствующее присвоение (4еї) которьїх входит в обратньюй 
слайс относительно вновь покрьтого злемента, что увеличиваєет степень причинно- 
следственньсх связей в трассе. 

Автоматические тесть  нуждаются в ручном сопровождениий для определения 
условий успешного прохождения, а также для последующего обновления в связи с 
изменениями в коде продукта (34). В работах (35, 36) отмечаєтся, что плохо 
составленнье тесть: имеют негативньй зффект на их сопровождение. В |37| 
утверждаєтся, что пригодньге к сопровождению тесть должнь бьть простьми, 
насколько зто возможно, т.е. каждьшй тест не должен проверять слишком много 
функциональности, и, в то же время, избегать обфускации. Более того, накладьтваниєе 
тестов должно бьть минимизировано, чтобьт возможньтєе изменения кода в будущем 
затрагивали только небольшую часть тестов. В работе |38| авторьр вводят 
дополнительнье метрики для оценки качества тестов - накладьтвание тестов между 
собой (сопріїпє) и связность (сорезіоп) внутри каждого теста. Зти метрики 
используются в качестве весовьх козффициентов при вьюоре вариантов в 
генетическом алгоритме генерации тестов. 

Главной проблемой систематических подходов остаєтся зффект комбинаторного 
взрьгва |3, 16, 17, 20-26|. Подходь, основаннье на ВР, чувствительнь к порядку 
атрибутов, количество вершин в худшем 


іпс Жипс (іпеє рі, ., рм)|( случаєе растет зкспоненциально; подход 
о нано о за Воцпаед || Моде! | Срфескіп о 
і5(рі -- 1)к1 - 1,.. 8 
1Є(рМ ее 1)КМ з 1; нетривиальньшм циклам, более того, в 
І: большинстве случаєв на практике он не 
ів(5250 66  КІ-е1)(52е591;добо 5;) | может доказать недостижимость. 
і Рассмотрим пример программьг на рис.б 
1Е(8--М-1 55 КМУ-1) (8-85491;д0б0 Щ1;) Р ЛВ ВеНРеГр р 
чена 6 кквен | росіненої У ЇЇ (извлеченньй при  анализе  реальньх 
сві ке Чкізої єю. КІ) промьшіленньх систем). Пусть требуется 
)генигп 1; обеспечить покрьтие операторов 
еранн Оз (отметим, что "хебигп 1" недостижим). 


Зксперименть бьмли проведень (|39| с 
набором | различньх инструментов: 
основаннье на ВБР - 5ММ и Ми5 МУ; 
УСЕСАК и ВІ АЗТ реализующие метод СЕСАБ; основанньй на 5МТ подход Ббоцпаса 
тоде! срескіпо представлен СВМС (количество развертьваний для каждого цикла 
бьшмло ограничено двумя итерациями); 5РІМ представляєт ехріїсії плоде! срфесКіпе; 
ОРРААДІЇ, - автоматньй подход; также Зупібойс РаШРіпдег (5РЕ) и РЕХ как 
представители 5упабоїйїс ехесийоп (программа на /ауа для 5РЕ бьла упрощена - 
удалень операторьт  'добко 1"). Операционное время работь (и, соответственно, 


Рис.6. Пример программь, 
порождающей комбинаторньій взрьтв 
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обьем требуємой | памяти) всех упомянутьх инструментов показали 
зкспоненциальньй рост с увеличением количества параметров, при зтом ни один из 
них не смог обработать программу с более чем 185 параметрами. 

ВьЬІводь!І 

На пути автоматизаций тестирования лежит множество технических и 
теоретических проблем, связанньх с разрешимостью, производительностью поиска, 
сложньми вьчислениями (нелинейньми, с плавающей запятой) |40| и язьіковьіми 
конструкциями  (например,  операций | со - строками,  указатели) |1ІЇ, 41, 
взаймодействием тестируемьх программ с окружающей средой (работа с файлами, 
базами  данньх, периферийньми  устройствами) |3, 27), многопоточностью, 
недетерминизмом и др. |17, 20). 

Вопрос о способности таких тестов вьшявлять ошибки остаєтся актуальньтм: 
ведь структурнье критериий изначально создань для оценки фактического покрьтия 
кода «ручньми» тестами |42|. ОбкБічно автоматически сгенерированнье по 
исходному коду тесть позволяют проверить только неявнье требования, например, 
отсутствиє зависаний, аварийньх завершений или неожиданньїх исключительньх 
ситуаций во время вьшолнения теста |41, 43|, но не обнаружение несоответствия 
между реализацией системь и ее спецификациями. Для установления факта 
успешного прохождения теста, необходимо описать соответствующие проверки или 
формальную модель |44, 45| (так назьтваємая «проблема оракула» |341). 

В |46) и |47| представлен обзор и список инструментальньх средств. 
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КЕ5ОМЕ 


У. МоїКоу, А. КоїсНіп, А. І егусреузкуу, 8. РойуепКо 

А 8игуеу ої 5у5іетабіс пеїподзя Гог соде-разед Тезі Чака гепегайоп 

Тре рарег ргез5епіз а 5игуеу ої ргеуаїйпеє соде соуегаєе (урез, іпстийіпе плоді пед 
сопдійоп/десізіоп апа дасайомуи соуегаєє, апа пиодегп ашіотайс (е5і Чага бепегайоп 
тешШодя базед оп 50игсе соде ої ітрегайуе ргодгатз. 

А питбег ої зай ехатріє5 аге біуеп іо Шизігаїє аддгез5ед соуегаєе (уре5; 
Фахайому сомегаєє дезсгіріоп 15 Ба5ед оп Карр5 апа У/еуйкег'5 дебпійопя ої деї-ц5е 
раїг5 Їог Фігесі Чака дерепдепсіе5 спесКіпеє, апа епрапсетепів ргоуідед бу Міаїоз (К- 
киріез8), ГазКі апа Когеї! (сотібіпацоп 5ігаїеру). 

ДіНегепі уаузє ої (е5пє єоаїз зресійсацоп іп іегта5 ої Ше айіотаїоп поаеі апа 
іетрогаї Їобіс5 аге Фезсгібед. 5ресіа! етрбазі8 15 пзаде Гог 5узіетайс пеїродзя, мПрісП аге 
Ба5ед оп Фе сопсойс (а рогітапіеай ої сопсгеге апа зупбоїс) апа 5упобоїс ехесийоп 
іесппідцез - соп5(гаїпі 50Їміпє, 5упібойс пподе! срескіпє, апа дупатіс зЗупабойс 
ехесийоп. АЇєогіййтя ої сепегацопа! 5еагсі апа 8Їоба! соуегаєе ог (е5і 5иїе сепегайоп 
му рагба! сомегаєє їепті5 аге де5сгібей. Уагіоця ргасіїсез ої (е5і 5еє орійтігайоп уп 
гезресі (0 517, ехесийоп йте, дцайсу апа абійу (о соуег боцпдаагу уаїцез аге 5игуеуєа. 

Ап ехатріе ої а 5зплай ргодгат у/піср Їогсе5 (0 ехропепиа! єгом р ої те апа 
тетогу уБе зіаїетепі соуегаєе асріеуїпя 15 дез5сгібед. ТПе ехатріе 15 (е5іей оп 5еуегаї 
ФїНегепі ипр-іо-даге іп5ігитепіа! (0015: 5МУ, МКи5 МУ, УСЕСАБВ, ВІ.АЗТ, СВМС, 5РІМ, 
ОРРААЇ,, Зутройс РаФЕіпаевг апа РЕХ. 

Тре 5игуеу Фі5си55е5 асіша! ргобіетя ої Пе ашіотайіс (езі сепегайоп арргоасі, зисПп 
а5 сотііпаїогіа! ехріозіоп ої Ше питіег ої ро55ібІе ргоєгат рашз8, пипітігайоп ої Фе 
гезційпя (е5і са5е5 5еб, її5 плаїпкаїпабійсу, ап е5(ітайоп ої і5 дцайсу, сопріїпє апа 
сопезіоп, абіШіу (0 егтог5 геусайпо, апа сопатоп (урез ої аціотайсаПу деїесіеа детесівя. 
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